<div dir="ltr">David:  "My fear is that there are going to be a lot of people who aren't as<br>diligent, and we'll end up with a lot of made up information out on the<br>web adding to all of the maliciously bad information that is already out<br>there."<div><br></div><div>I  share your worry. Chat GPT sounds so authoritative--or as Marcia called it, plausible--that we have to be careful to know when it's spewing nonsense--sort of like a certain media outlet that repeatedly admitted under oath recently that it is spewing nonsense.</div><div><br></div><div>Rob: "<span style="font-family:Verdana,Arial,Helvetica,sans-serif;font-size:13.3333px">humans simplify complex, especially threatening, new things, by using dichotomies of good and evil, red and blue, etc, and that conviction is often inversely proportionate to knowledge."</span></div><div><span style="font-family:Verdana,Arial,Helvetica,sans-serif;font-size:13.3333px"><br></span></div><div><span style="font-family:Verdana,Arial,Helvetica,sans-serif;font-size:13.3333px">An astute observation. But while your mixed-results examples show that the either-or switch doesn't work here, I'm not sure what does. If the point of ChatGPT is to reduce our workload but we have to verify all the results, I don't see it as useful</span></div><div><br></div><div>And Rob, you were quick to save money on lawyer and copywriting fees,etc. But since you're an SEO person, how do you react if I tell you I plan to try the chatbot to discover search terms in my narrow niche that people are actually searching for. I just discovered that most of my search terms just aren't getting searches. It's hard to think of a career that isn't at risk. Teachers in my circle are especially upset because homework might be going away.</div><div><br></div><div>This doesn't mean I'm some kind of Luddite who wants to ban it. But I do raise questions about what it all means for the future of work, careers, creativity, etc. And I do see a need for quality control. I landed on a site last week that was obviously written by a chatbot. I'm not familiar enough with GPT's output to be an expert. But I could tell within the first paragraph--and I left, taking with me any respect I had for the site owner. </div><div><br></div><div>We will adapt. People who used to make buggy whips in 1890 were doing something else by 1910. Teachers might actually have a new wave of creativity in figuring out assignments that can't be done by a bot. Copywriters will reach into their quiver for the arrows that demonstrate their superiority over the generic writing, just as really good copywriters have always survived competition from cheaper but lesser writers.<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:small"></div><div><br></div><div>Shel Horowitz - "The Transformpreneur"</div><div>________________________________________________</div><div>Contact me to bake in profitability while addressing hunger, </div><div>poverty, war, and catastrophic climate change</div><div>* First business ever to be Green America Gold Certified</div><div>* Inducted into the National Environmental Hall of Fame</div><div>* Certified speaker: International Platform Association</div><div><a href="https://goingbeyondsustainability.com" target="_blank" hspace="streak-track">https://goingbeyondsustainability.com</a> </div><div>mailto:<a href="mailto:shel@greenandprofitable.com" target="_blank">shel@greenandprofitable.com</a> 413-586-2388</div><div>Award-winning, best-selling author of 10 books. </div><div>Latest: Guerrilla Marketing to Heal the World </div><div>(co-authored with Jay Conrad Levinson)</div><div><br></div><div>Watch my TEDx Talk,</div><div>"Impossible is a Dare: Business for a Better World"</div><div><a href="http://www.ted.com/tedx/events/11809" target="_blank" hspace="streak-track">http://www.ted.com/tedx/events/11809</a> </div><div>(move your mouse to "event videos")</div><div>_________________________________________________</div><div><br></div></div></div></div></div></div></div></div><br></div></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width:0px;max-height:0px;overflow:hidden" src="https://mailfoogae.appspot.com/t?sender=ac2hlbGhvcm9AZ21haWwuY29t&type=zerocontent&guid=c9df4a29-7c11-4da7-b33a-bb7ebb9c273e"><font color="#ffffff" size="1">ᐧ</font></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 10, 2023 at 10:03 AM R. David Murray via Hidden-discuss <<a href="mailto:hidden-discuss@lists.hidden-tech.net">hidden-discuss@lists.hidden-tech.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">From what I understand (admittedly from only a *basic* understanding of<br>
machine learning), it is not so much that ChatGPT is "making errors",<br>
but rather that it is "making stuff up", and does not admit that it is<br>
making stuff up.<br>
<br>
I'm going to brain dump what I think here, but I'm not an expert in this<br>
by any stretch, so don't take me as an authority.  Perhaps this can help<br>
you reason about ChartGPT until you find a better expert to consult ;)<br>
<br>
One thing to understand is that this is a *trained* model.  That means<br>
that it was given a set of questions and answers and told "these are<br>
good, these are bad", probably with a rating of *how* good or bad.  Then<br>
it was given a lot of other data (and how exactly this gets turned into<br>
questions and answers is *way* beyond my knowledge level).  Then a team<br>
of model trainers started asking questions.  The trainers would look at<br>
the answers it came up with and rate them, thus adding to the "trained"<br>
data set.  When you tell ChatGPT that its answer was good or bad, you<br>
are also potentially adding to that training data, by the way.<br>
<br>
I'm guessing that the way the system works there is actually no way for<br>
it to "know" that it has made something up.  The output that it produces<br>
is generated based on what you can think of as a very advanced version<br>
of statistical language modelling:  given a certain input, what are the<br>
most likely kinds of things that would follow as a response?  And like<br>
any statistical model, when you get enough standard deviations out,<br>
things get weird.  At no point in the model output are things tagged as<br>
"made up" or "not made up":  it is *ALL* made up.<br>
<br>
In the middle of the bell curve the made up things are *much* more<br>
likely to be "correct" than out at the edges of the bell curve.  But<br>
oh those edges...<br>
<br>
It is of course more sophisticated than a statistical model, but the<br>
same principle applies:  if there are few examples of *exactly* the kind<br>
of data your input contains, then it is going to draw from stuff that is<br>
a lot less closely related to your input for its response.  But, and<br>
here is the important part, it is going to make up *something* to answer<br>
with.  If a source is mentioned multiple times in the context of your<br>
input, it will use it.  If there are no sources mentioned in the context<br>
of your input, it will generate an output that looks like the *kind of<br>
thing* that would be a response to that *kind of input*.  In this case<br>
that included a list of articles.  It generated at least one of them<br>
from an author whose name was probably mentioned in the context of your<br>
input, but never with an actual article name attached.  Or maybe that<br>
author was mentioned in the context of conversations containing a<br>
subset of the *words* in your input (rather than logically formed<br>
sentences), depending on just how fuzzy the match was.  Then it<br>
effectively made up a plausible sounding article name to go with the<br>
author name, because that's what responses to other similar questions in<br>
its training data looked like (not similar in content, but similar in<br>
*form*).<br>
<br>
So while I agree that making up all the sources seems like an extreme<br>
example of this, ChatGPT is what Science Fiction calls an "Artificial<br>
Stupid" (something that can't actually *reason*), and thus I think my<br>
explanation is plausible.  It just depends on how fuzzy the match was<br>
that it made on the input.  If the match was very fuzzy, then it would<br>
have come back with material from its data that generally followed at<br>
least some of your input, and then since responses the trainers<br>
considered "good" to questions like that usually included some sources,<br>
it made some up based on how the answers to other, less related,<br>
questions looked.<br>
<br>
Anyone want to bet that four sources was the average number that was<br>
accepted as "a good answer" by the people who did the training?  I know<br>
I've seen "four things" in a couple of ChatGPT answers, and I haven't<br>
asked it very many questions :)<br>
<br>
Given all this, there are only two things you can do, one of which is<br>
exactly what you did: ask it for the sources.  Given *that* input, it<br>
should be able to come up with the most likely response being the actual<br>
source.  If it can't, then it has probably made up the source (note: I<br>
have not tested this technique myself, but it follows logically from how<br>
I think the system works).<br>
<br>
The second thing you can do (which you probably also already did) is to<br>
rephrase your input, giving it different amounts and kinds of context,<br>
and see how the output changes.  If your altered input results in a less<br>
fuzzy match, you will get better answers.<br>
<br>
The big takeaway, which you clearly already know, is to never trust<br>
anything ChatGPT produces.  Use it as a rough draft, but verify all the<br>
facts.<br>
<br>
My fear is that there are going to be a lot of people who aren't as<br>
diligent, and we'll end up with a lot of made up information out on the<br>
web adding to all of the maliciously bad information that is already out<br>
there.  I have read that the ChatGPT researchers are worried about how<br>
to avoid using ChatGPT's output as input to a later ChatGPT model, and I<br>
have no idea how they are going to achieve that!<br>
<br>
And keep in mind that that maliciously bad information *is part of<br>
ChatGPT's data set*.  Some of it the people who did the training will have<br>
caught, but I'm willing to bet they missed a lot of it because *they*<br>
didn't know it was bad, or it never came up during training.<br>
<br>
--David<br>
<br>
On Fri, 10 Mar 2023 03:14:21 +0000, Marcia Yudkin via Hidden-discuss <<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>> wrote:<br>
> Yes, I know that people have been pointing out "ridiculous factual errors" from ChatGPT.   However, to make up sources that sound completely plausible but are fake seems like it belongs in a whole other category.<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> On Thursday, March 9, 2023 at 04:10:43 PM HST, Alan Frank <<a href="mailto:alan@8wheels.org" target="_blank">alan@8wheels.org</a>> wrote: <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> ChatGPT is a conversation engine, not a search engine.  It is designed <br>
> to provide plausible responses based on similarity of questions and <br>
> answers to existing material on the internet, without attempting to <br>
> correlate its responses with actual facts.  Pretty much every social <br>
> media space I follow has had multiple posts from people pointing out <br>
> ridiculous factual errors from ChatGPT.<br>
> <br>
> --Alan<br>
> <br>
> <br>
> -------- Original Message --------<br>
> Subject: [Hidden-tech] Question about ChatGPT and machine learning<br>
> Date: 2023-03-09 15:29<br>
> From: Marcia Yudkin via Hidden-discuss <br>
> <<a href="mailto:hidden-discuss@lists.hidden-tech.net" target="_blank">hidden-discuss@lists.hidden-tech.net</a>><br>
> To: "<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a>" <br>
> <<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a>><br>
> <br>
> This question is for anyone who understands how the machine learning in <br>
> ChatGPT works.<br>
> <br>
> I've been finding ChatGPT useful for summarizing information that is <br>
> widely dispersed around the web, such as questions like "what are the <br>
> most popular objections to X?"  However, the other day for a blog post I <br>
> was writing I asked it "What are some sources on the relationship of X <br>
> to Y?"  It gave me four sources of information, including the article <br>
> title, where it was published and who wrote it.  <br>
> <br>
> This looked great, especially since I recognized two of the author names <br>
> as authorities on X.  However, when I then did a Google search, I could <br>
> not track down any of the four articles, either by title, author or <br>
> place of publication.  I tried both in Google and in Bing.  Zilch!<br>
> <br>
> Could ChatGPT have totally made up these sources?  If so, how does that <br>
> work?<br>
> <br>
> I am baffled about the explanation of this.  One of the publications <br>
> involved was Psychology Today, so we are not talking about obscure <br>
> corners of the Internet or sites that would have disappeared recently.<br>
> <br>
> Thanks for any insights.<br>
> <br>
> Marcia Yudkin<br>
> Introvert UpThink<br>
> Introvert UpThink | Marcia Yudkin | Substack<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> Introvert UpThink | Marcia Yudkin | Substack<br>
>   Marcia Yudkin<br>
>   Exploring how introverts are misunderstood, maligned and <br>
> underappreciated in our culture - yet still thrive. Cli...<br>
> <br>
> <br>
> _______________________________________________<br>
> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
> <br>
> You are receiving this because you are on the Hidden-Tech Discussion <br>
> list.<br>
> If you would like to change your list preferences, Go to the Members<br>
> page on the Hidden Tech Web site.<br>
> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
> _______________________________________________<br>
> Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
> <a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
> <br>
> You are receiving this because you are on the Hidden-Tech Discussion list.<br>
> If you would like to change your list preferences, Go to the Members<br>
> page on the Hidden Tech Web site.<br>
> <a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
_______________________________________________<br>
Hidden-discuss mailing list - home page: <a href="http://www.hidden-tech.net" rel="noreferrer" target="_blank">http://www.hidden-tech.net</a><br>
<a href="mailto:Hidden-discuss@lists.hidden-tech.net" target="_blank">Hidden-discuss@lists.hidden-tech.net</a><br>
<br>
You are receiving this because you are on the Hidden-Tech Discussion list.<br>
If you would like to change your list preferences, Go to the Members<br>
page on the Hidden Tech Web site.<br>
<a href="http://www.hidden-tech.net/members" rel="noreferrer" target="_blank">http://www.hidden-tech.net/members</a><br>
</blockquote></div>